Ta có: \(\left\{{}\begin{matrix}2x+3y=m\\5x-y=1\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}2x+3y=m\\15x-3y=3\end{matrix}\right.\Leftrightarrow\left\{{}\begin{matrix}17x=m+3\\5x-y=1\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}x=\dfrac{m+3}{17}\\y=5x-1=\dfrac{5m+15}{17}-\dfrac{17}{17}=\dfrac{5m-2}{17}\end{matrix}\right.\)

Để hệ phương trình có nghiệm duy nhất sao cho x<0 và y>0 thì 

\(\left\{{}\begin{matrix}\dfrac{m+3}{17}< 0\\\dfrac{5m-2}{17}>0\end{matrix}\right.\Leftrightarrow\left\{{}\begin{matrix}m+3< 0\\5m-2>0\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}m< -3\\m>\dfrac{2}{5}\end{matrix}\right.\Leftrightarrow m\in\varnothing\)

\(\left\{{}\begin{matrix}3x+2y=10\\2x-y=m\end{matrix}\right.\) \(\Leftrightarrow\left\{{}\begin{matrix}3x+2y=10\\4x-2y=2m\end{matrix}\right.\) \(\Leftrightarrow\left\{{}\begin{matrix}7x=10+2m\\3x+2y=10\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}x=\dfrac{10+2m}{7}\\3\left(\dfrac{10+2m}{7}\right)+2y=10\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}x=\dfrac{10+2m}{7}\\\dfrac{30+6m}{7}+2y=10\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}x=\dfrac{10+2m}{7}\\y=\dfrac{40-6m}{14}\end{matrix}\right.\)

Để \(x>0\) \(\Leftrightarrow\dfrac{10+2m}{7}>0\)

               \(\Leftrightarrow m>-5\) (1)

Để \(y>0\)  \(\Leftrightarrow40-6m< 0\) 

                 \(\Leftrightarrow m>\dfrac{20}{3}\) (2)

\(\left(1\right);\left(2\right)\rightarrow m>\dfrac{20}{3}\)

 Vậy \(m>\dfrac{20}{3}\) thì \(x>0;y< 0\)

a) Với \(m=0\) ta có:

\(\left\{{}\begin{matrix}0x+4y=10-0\\x+0y=4\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}x=4\\y=\dfrac{5}{2}\end{matrix}\right.\) (nhận trường hợp này).

Với \(m\ne0\), ta có:

\(\left\{{}\begin{matrix}mx+4y=10-m\\x+my=4\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}mx+4y=10-m\\-mx-m^2y=-4m\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}\left(4-m^2\right)y=10-5m\left(1\right)\\x+my=4\left(2\right)\end{matrix}\right.\)

Biện luận:

Với \(m=2\) \(\left(1\right)\Rightarrow0y=0\) (phương trình vô số nghiệm),

Với \(m=-2\Rightarrow0y=20\) (phương trình vô nghiệm).

Với \(m\ne\pm2\Rightarrow y=\dfrac{10-5m}{4-m^2}=\dfrac{5\left(2-m\right)}{\left(2-m\right)\left(2+m\right)}=\dfrac{5}{m+2}\)

Vì \(y>0\Rightarrow\dfrac{5}{m+2}>0\Leftrightarrow m+2>0\Leftrightarrow m>-2\)

Thay \(y=\dfrac{5}{m+2}\) vào (2) ta được:

\(x+\dfrac{5m}{m+2}=4\Leftrightarrow x=\dfrac{8-m}{m+2}\)

Vì x>0 \(\Rightarrow\left[{}\begin{matrix}\left\{{}\begin{matrix}8-m>0\\m+2>0\end{matrix}\right.\\\left\{{}\begin{matrix}8-m< 0\\m+2< 0\end{matrix}\right.\end{matrix}\right.\Rightarrow-2< m< 8\)

Vì m là số nguyên và \(m\ne2\) nên \(m\in\left\{-1;0;1;3;4;5;6;7\right\}\)

Vậy \(m\in\left\{1;0;1;3;4;5;6;7\right\}\) thì hệ đã cho có nghiệm duy nhất sao cho \(x>0,y>0\).

b) Với \(m=0\) ta có nghiệm \(\left(x;y\right)=\left(4;\dfrac{5}{2}\right)\) (loại).

Với \(m=2\). Ta có hệ vô số nghiệm với nghiệm tổng quát có dạng \(\left\{{}\begin{matrix}x\in R\\y=2-\dfrac{x}{2}\end{matrix}\right.\)

Vì y là số nguyên dương nên:

\(\left\{{}\begin{matrix}x⋮2\\2-\dfrac{x}{2}>0\end{matrix}\right.\Leftrightarrow\left\{{}\begin{matrix}x⋮2\\x< 4\end{matrix}\right.\). Mặt khác x>0.

\(\Rightarrow x=2\Rightarrow y=1\)
Với \(m\ne\pm2\). Ta có \(y=\dfrac{5}{m+2}\).

Vì x,y là các số nguyên dương nên x,y>0. Nên:

\(m\in\left\{-1;0;1;3;4;5;6;7\right\}\) (1')

Mặt khác: \(5⋮\left(m+2\right)\)

\(\Rightarrow m+2\inƯ\left(5\right)\)

\(\Rightarrow m+2\in\left\{1;-1;5;-5\right\}\)

\(\Rightarrow m\in\left\{-1;-3;3;-7\right\}\) (2')

Từ (1') ,(2') \(\Rightarrow m\in\left\{-1;3\right\}\)

Vậy \(m\in\left\{-1;2;3\right\}\) thì hệ có nghiệm \(\left(x;y\right)\) với x,y là số nguyên dương.

Lời giải:
Từ PT$(1)\Rightarrow x=m+1-my$. Thay vô PT(2):

$m(m+1-my)+y=3m-1$

$\Leftrightarrow y(1-m^2)+m^2+m=3m-1$

$\Leftrightarrow y(1-m^2)=-m^2+2m-1(*)$

Để hpt có nghiệm $(x,y)$ duy nhất thì pt $(*)$ cũng phải có nghiệm $y$ duy nhất 

Điều này xảy ra khi $1-m^2\neq 0\Leftrightarrow m\neq \pm 1$
Khi đó: $y=\frac{-m^2+2m-1}{1-m^2}=\frac{-(m-1)^2}{-(m-1)(m+1)}=\frac{m-1}{m+1}$

$x=m+1-my=m+1-\frac{m(m-1)}{m+1}=\frac{3m+1}{m+1}$

Có:

$x+y=\frac{m-1}{m+1}+\frac{3m+1}{m+1}=\frac{4m}{m+1}<0$

$\Leftrightarrow -1< m< 0$

Kết hợp với đk $m\neq \pm 1$ suy ra $-1< m< 0$ thì thỏa đề.